预测分子系统的结构和能量特性是分子模拟的基本任务之一，并且具有化学，生物学和医学的用例。在过去的十年中，机器学习算法的出现影响了各种任务的分子模拟，包括原子系统的财产预测。在本文中，我们提出了一种新的方法，用于将从简单分子系统获得的知识转移到更复杂的知识中，并具有明显的原子和自由度。特别是，我们专注于高自由能状态的分类。我们的方法依赖于（i）分子的新型超图表，编码所有相关信息来表征构象的势能，以及（ii）新的消息传递和汇总层来处理和对此类超图结构数据进行预测。尽管问题的复杂性，但我们的结果表明，从三丙氨酸转移到DECA-丙氨酸系统的转移学习中，AUC的AUC为0.92。此外，我们表明，相同的转移学习方法可以用无监督的方式分组，在具有相似的自由能值的簇中，deca-丙氨酸的各种二级结构。我们的研究代表了一个概念证明，即可以设计用于分子系统的可靠传输学习模型，为预测生物学相关系统的结构和能量性能的未开发途径铺平道路。

Adversarial training is widely acknowledged as the most effective defense against adversarial attacks. However, it is also well established that achieving both robustness and generalization in adversarially trained models involves a trade-off. The goal of this work is to provide an in depth comparison of different approaches for adversarial training in language models. Specifically, we study the effect of pre-training data augmentation as well as training time input perturbations vs. embedding space perturbations on the robustness and generalization of BERT-like language models. Our findings suggest that better robustness can be achieved by pre-training data augmentation or by training with input space perturbation. However, training with embedding space perturbation significantly improves generalization. A linguistic correlation analysis of neurons of the learned models reveal that the improved generalization is due to `more specialized' neurons. To the best of our knowledge, this is the first work to carry out a deep qualitative analysis of different methods of generating adversarial examples in adversarial training of language models.

电力系统状态估计面临着不同类型的异常。这些可能包括由总测量错误或通信系统故障引起的不良数据。根据实施的状态估计方法，负载或发电的突然变化可以视为异常。此外，将电网视为网络物理系统，状态估计变得容易受到虚假数据注射攻击的影响。现有的异常分类方法无法准确对上述三种异常进行分类（区分），尤其是在歧视突然的负载变化和虚假数据注入攻击时。本文提出了一种用于检测异常存在，对异常类型进行分类并识别异常起源的新算法更改或通过错误数据注入攻击针对的状态变量。该算法结合了分析和机器学习（ML）方法。第一阶段通过组合$ \ chi^2 $检测指数来利用一种分析方法来检测异常存在。第二阶段利用ML进行异常类型的分类和其来源的识别，特别是指突然负载变化和错误数据注射攻击的歧视。提出的基于ML的方法经过训练，可以独立于网络配置，该网络配置消除了网络拓扑变化后算法的重新训练。通过在IEEE 14总线测试系统上实施拟议的算法获得的结果证明了拟议算法的准确性和有效性。

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

我们提出了一个新颖的框架概念，以分析在预训练的语言模型中学习的潜在概念如何编码。它使用聚类来发现编码的概念，并通过与大量的人类定义概念对齐来解释它们。我们对七个变压器语言模型的分析揭示了有趣的见解：i）学习表示形式中的潜在空间与不同程度的不同语言概念重叠，ii）ii）模型中的下层以词汇概念（例如附加物为附加物）为主，而却是核心语言概念（例如形态学或句法关系）在中间和更高层中更好地表示，iii）一些编码的概念是多方面的，无法使用现有的人类定义的概念来充分解释。

尽管在理解深度NLP模型中学到的表示形式以及他们所捕获的知识方面已经做了很多工作，但对单个神经元的关注很少。我们提出了一种称为语言相关性分析的技术，可在任何外部特性中提取模型中的显着神经元 - 目的是了解如何保留这种知识在神经元中。我们进行了细粒度的分析以回答以下问题：（i）我们可以识别网络中捕获特定语言特性的神经元子集吗？ （ii）整个网络中的局部或分布式神经元如何？ iii）信息保留了多么冗余？ iv）针对下游NLP任务的微调预训练模型如何影响学习的语言知识？ iv）架构在学习不同的语言特性方面有何不同？我们的数据驱动的定量分析阐明了有趣的发现：（i）我们发现了可以预测不同语言任务的神经元的小亚集，ii）捕获基本的词汇信息（例如后缀），而这些神经元位于较低的大多数层中，iii，iii），而这些神经元，而那些神经元，而那些神经元则可以预测。学习复杂的概念（例如句法角色）主要是在中间和更高层中，iii），在转移学习过程中，显着的语言神经元从较高到较低的层移至较低的层，因为网络保留了较高的层以特定于任务信息，iv）我们发现很有趣在培训预训练模型之间的差异，关于如何保留语言信息，V）我们发现概念在多语言变压器模型中跨不同语言表现出相似的神经元分布。我们的代码作为Neurox工具包的一部分公开可用。

We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.

尽管深度学习架构最近取得了成功，但在现实词应用程序中，人重新识别（REID）仍然是一个具有挑战性的问题。最近，已经提出了几种无监督的单目标域适应性（STDA）方法，以限制源和目标视频数据之间通常发生的域移位引起的REID准确性下降。鉴于人REID数据的多模式性质（由于跨摄像头观点和捕获条件的变化），训练常见的CNN主链来解决跨多个目标域的域移动，可以为实时REID应用程序提供有效的解决方案。尽管在REID文献中尚未广泛解决多目标域的适应性（MTDA），但一种直接的方法包括混合不同的目标数据集，并在混合物上执行STDA以训练公共CNN。但是，这种方法可能导致概括不佳，尤其是在融合越来越多的不同目标域来训练较小的CNN时。为了减轻此问题，我们基于知识蒸馏（KD-REID）引入了一种新的MTDA方法，该方法适用于实时人员REID应用。我们的方法通过从多个专业的教师CNN中蒸馏出来，适应了目标域上常见的轻型学生骨干CNN，每个CNN都适用于特定目标域的数据。对几个具有挑战性的人REID数据集进行的广泛实验表明，我们的方法优于MTDA的最先进方法，包括混合方法，尤其是在训练像OSNET这样的紧凑型CNN骨架时。结果表明，我们的灵活MTDA方法可用于设计成本效益的REID系统，以实时视频监视应用程序。

在本文中，我们提出了一种新型可调微调方法，可提高BERT模型对下游任务的训练和推理时间。在所提出的方法中，我们首先通过我们提出的冗余度量检测每层中的更重要的单词向量，然后通过我们提出的策略消除不太重要的单词向量。在我们的方法中，每层中的字矢量消除速率由倾斜速率超参数控制，并且模型学会使用比原始BERT \ TextSubscript {Base}相当较低数量的浮点操作（闪光）。模型。我们所提出的方法不需要任何额外的训练步骤，并且它也可以推广到其他基于变压器的模型。我们执行广泛的实验，显示较高层中的字矢量具有令人印象深刻的冗余，可以消除和减少训练和推理时间。实验结果对广泛情绪分析，分类和回归数据集，以及IMDB和胶水等基准表明我们的提出方法在各种数据集中有效。通过在BERT \ TextSubscript {Base}模型上应用我们的方法，我们平均将推理时间降低5.3倍的5.3倍，平均精度降低。在微调阶段之后，可以使用我们的方法脱机调整属性调整模型的推理时间，以获得各种倾斜率值选择。此外，我们提出了一种数学加速分析，可以准确估计我们方法的加速。在此分析的帮助下，可以在微调或离线调谐阶段之前选择倾斜速率超参数。

部分重叠点云的实时登记具有对自治车辆和多助手SLAM的合作看法的新兴应用。这些应用中点云之间的相对转换高于传统的SLAM和OCOMOTRY应用程序，这挑战了对应的识别和成功的注册。在本文中，我们提出了一种用于部分重叠点云的新颖注册方法，其中使用有效的点亮特征编码器学习对应关系，并使用基于图形的注意网络改进。这种注意网络利用关键点之间的几何关系，以改善点云中的匹配，低重叠。在推断时间下，通过通过样本共识稳健地拟合对应关系来获得相对姿态变换。在基蒂数据集和新的合成数据集上进行评估，包括低重叠点云，位移高达30米。所提出的方法在Kitti DataSet上使用最先进的方法实现了对映射性能，并且优于低重叠点云的现有方法。此外，所提出的方法可以比竞争方法更快地实现更快的推理时间，低至410ms，低至410ms。我们的代码和数据集可在https://github.com/eduardohenriquearnold/fastreg提供。